最近，由东京大学 Mantra 团队、雅虎（日本）等机构联合发布的《Towards Fully Automated Manga Translation 实现漫画全自动翻译》（论文地址https://arxiv.org/abs/2012.14271）论文，引发了学界和二次元界的关注。Mantra 团队成功地实现了将漫画的中的对话、气氛词、标签等文字自动识别，并做到了区分角色、联系上下文，最后将翻译文字准确替换、嵌入气泡区域。有了这个翻译神器，估计翻译组、追漫的小伙伴们都该偷着乐了。
在科研方面，目前该篇论文已经被 AAAI 2021 接收，研究团队还开源了一个包含五部不同风格（幻想、爱情、战斗、悬疑、生活）的漫画，所组成的翻译评估数据集。OpenMantra 漫画翻译评估数据集论文地址：https://arxiv.org/abs/2012.14271数据格式：带注释的 JSON 文件和原始图像数据内容：1593 个句子、848 个场景、214 页漫画数据大小：36.8 MB更新时间：2020 年 12 月 7 日下载地址：https://hyper.ai/datasets/14137在产品化方面，Mantra 计划上线封装好的自动翻译引擎，不仅面向出版社提供漫画的自动化翻译与发行服务，也会发布面向个人用户的服务。下面是我们从 Mantra 官方推特上选取的日漫《周边男子》的部分翻译成果，这部多格、轻耽美风格的漫画，以生活常用的数码设备拟人化为背景，充满欢乐与基情：
查看《周边男子》日文原版及自动化机器翻译的中英文版本
具体的实现步骤，Mantra 研究团队在论文《Towards Fully Automated Manga Translation 实现漫画全自动翻译》中进行了详细的解释。但由于漫画的特殊性，来自不同角色的对话、效果拟声词、文字标注等等，都会展现在一幅漫画图片里，漫画师会用气泡、不同的字体、夸张的字体来展现不同效果的文字。研究团队发现，由于漫画中的这些各种字体和手绘样式，即使使用最先进的OCR 系统（例如 Google Cloud Vision API），在漫画文本上的表现很不理想。因此，团队开发了针对漫画优化的文本识别模块，通过检测文本行和识别每个文本行的字符来实现对异形文字的识别。在漫画中，最常见的文字就是角色之间的对话，对话文字气泡还会被切割成多块。这就要求自动化机器翻译需要准确区分角色，还得联系上下文注意主语的衔接、避免重复，这都对机器翻译提出了更高的要求。在这一步中，要通过上下文感知、情感识别等方式来实现，在上下文感知中，Mantra 团队用了文本分组、文本阅读顺序、提取视觉语义三种方式，实现了多模态的上下文感知。Mantra 这一自动化引擎，不仅能够区分角色、联系上下文准确翻译以外，还很好地解决了漫画翻译中的耗时最久、人力成本最高的环节——嵌字。在嵌字这一环节中，首先要擦除嵌字区域，再进行嵌字，由于日文、中文、英文字符的形态、拼写、组合、连读方式都不一样，所以这一环节的难度也尤其大。在这一步中，需要进行：页面匹配→检测文本框→文字气泡的像素统计→拆分连接的气泡→语言间的对齐→文字识别→上下文提取。在论文中的实验部分，Mantra 团队提到目前并没有包含多种语言的漫画数据集，所以他们创建了 OpenMantra（已开源） 和 PubManga 数据集，其中OpenMantra 用于评估机器翻译，包含 1593 个句子、848 个场景画面和 214 页漫画，Mantra 团队已经请专业翻译人员将数据集翻译成英文和中文。OpenMantra 漫画翻译评估数据集（同上文）论文地址：https://arxiv.org/abs/2012.14271数据格式：带注释的 JSON 文件和原始图像数据内容：1593 个句子、848 个场景、214 页漫画数据大小：36.8 MB更新时间：2020 年 12 月 7 日下载地址：https://hyper.ai/datasets/14137PubManga 数据集用于评估构建的语料库，该数据集包含注释：1）文本和框架的边框；2）日语和英语的文本（字符序列）；3）框架和文本的阅读顺序。为了训练模型，团队准备了 842097 对日文、英文版的漫画页面，共 3979205 对日语-英语的句子。具体的方法可以阅读论文，最终的模型效果评估由人工完成，Mantra 团队邀请了五位专业的日文-英文翻译人员，以专业的翻译评估程序给句子打分。目前该篇论文已经被 AAAI 2021 收录，产品化的工作也在稳步推进中，从 Mantra 团队的推特中，我们看到已经有不少漫画成功使用了 Mantra 进行自动化机器翻译。这样的宝藏项目，是由两位东京大学的博士生完成的，CEO石和祥之介 （Shonosuke Ishiwatari），CTO 日南凉太（Ryota Hinami） 同在东京大学博士毕业，在 2020 年创立了 Mantra 团队。CEO 石和祥之介，是东京大学信息科学系本科 2010 级入学，博士毕业于 2019 年。他主要专注于自然语言处理领域的研究和开发，包括机器翻译和字典生成，也是本篇论文的第二作者。值得一提的是，石和祥之介的研究经验丰富，不仅曾经在 CMU 交流访学，还曾于 2016-17 年在位于北京的微软亚洲研究院实习半年，当时他在MSRA 首席研究员刘树杰团队从事 NLC (Natural Language Computing) 自然语言计算的研究。CTO 日南凉太石和祥之介同年入学，专注于图像识别领域。在 2016-17 年同期和石和祥之介，一同在微软亚洲研究院实习。这样的一对技能互补的小伙伴，完成了 Mantra 的大部分工作，是不是从发量到成果都很让人羡慕呢？如果想了解更多关于 Mantra 的信息，大家可以访问论文（https://arxiv.org/abs/2012.14271）、项目官网（https://mantra.co.jp/）或下载数据集（https://hyper.ai/datasets/14137），进行进一步研究。更多精彩推荐